我们介绍了一种新的合成数据生成器PSP-HDRI $+$，该$+$被证明是ImageNet和其他大规模合成数据对应物的卓越预训练替代方案。我们证明，使用合成数据的预训练将产生一个更通用的模型，即使在分布外（OOD）集测试时，该模型的性能也比替代方案更好。此外，使用由人关键点估计指标指导的消融研究，具有现成的模型架构，我们展示了如何操纵我们的合成数据生成器以进一步提高模型性能。
translated by 谷歌翻译
近年来，人员检测和人类姿势估计已经取得了很大的进步，通过大规模标记的数据集帮助。但是，这些数据集没有保证或分析人类活动，姿势或情境多样性。此外，隐私，法律，安全和道德问题可能会限制收集更多人类数据的能力。一个新兴的替代方案，用于减轻这些问题的一些问题是合成数据。然而，综合数据生成器的创建令人难以置信的具有挑战性，并防止研究人员探索他们的实用性。因此，我们释放了一个以人为本的合成数据发生器PeoplesAnspeople，它包含模拟就绪3D人类资产，参数化照明和相机系统，并生成2D和3D边界框，实例和语义分段，以及Coco姿态标签。使用PeoplesAnspeople，我们使用Detectron2 KeyPoint R-CNN变体进行基准合成数据训练[1]。我们发现，使用合成数据进行预培训网络和对目标现实世界数据的微调（几次传输到Coco-Person Rain的有限子集[2]）导致了60.37 $ 60.37 $的关键点AP（ Coco Test-Dev2017）使用相同的实际数据培训的型号优于同一实际数据（35.80美元的Keypoint AP），并使用Imagenet预先培训（Keypoint AP为57.50美元）。这种自由可用的数据发生器应使其在人用于人工以人为主的计算机视野中的临界领域进行实际转移学习的新兴仿真领域。
translated by 谷歌翻译
在合作多智能体增强学习（Marl）中的代理商的创造和破坏是一个批判性的研究领域。当前的Marl算法通常认为，在整个实验中，组内的代理数量仍然是固定的。但是，在许多实际问题中，代理人可以在队友之前终止。这次早期终止问题呈现出挑战：终止的代理人必须从本集团的成功或失败中学习，这是超出其自身存在的成败。我们指代薪资奖励的传播价值作为遣返代理商作为追索的奖励作为追索权。当前的MARL方法通过将这些药剂放在吸收状态下，直到整组试剂达到终止条件，通过将这些药剂置于终止状态来处理该问题。虽然吸收状态使现有的算法和API能够在没有修改的情况下处理终止的代理，但存在实际培训效率和资源使用问题。在这项工作中，我们首先表明样本复杂性随着系统监督学习任务中的吸收状态的数量而增加，同时对变量尺寸输入更加强大。然后，我们为现有的最先进的MARL算法提出了一种新颖的架构，它使用注意而不是具有吸收状态的完全连接的层。最后，我们展示了这一新颖架构在剧集中创建或销毁的任务中的标准架构显着优于标准架构以及标准的多代理协调任务。
translated by 谷歌翻译
机器学习（ML）系统的开发和部署可以用现代工具轻松执行，但该过程通常是匆忙和意思是结束的。缺乏勤奋会导致技术债务，范围蠕变和未对准的目标，模型滥用和失败，以及昂贵的后果。另一方面，工程系统遵循明确定义的流程和测试标准，以简化高质量，可靠的结果的开发。极端是航天器系统，其中关键任务措施和鲁棒性在开发过程中根深蒂固。借鉴航天器工程和ML的经验（通过域名通过产品的研究），我们开发了一种经过验证的机器学习开发和部署的系统工程方法。我们的“机器学习技术准备水平”（MLTRL）框架定义了一个原则的过程，以确保强大，可靠和负责的系统，同时为ML工作流程流线型，包括来自传统软件工程的关键区别。 MLTRL甚至更多，MLTRL为跨团队和组织的人们定义了一个人工智能和机器学习技术的人员。在这里，我们描述了通过生产化和部署在医学诊断，消费者计算机视觉，卫星图像和粒子物理学等领域，以通过生产和部署在基本研究中开发ML方法的几个现实世界使用情况的框架和阐明。
translated by 谷歌翻译
In molecular research, simulation \& design of molecules are key areas with significant implications for drug development, material science, and other fields. Current classical computational power falls inadequate to simulate any more than small molecules, let alone protein chains on hundreds of peptide. Therefore these experiment are done physically in wet-lab, but it takes a lot of time \& not possible to examine every molecule due to the size of the search area, tens of billions of dollars are spent every year in these research experiments. Molecule simulation \& design has lately advanced significantly by machine learning models, A fresh perspective on the issue of chemical synthesis is provided by deep generative models for graph-structured data. By optimising differentiable models that produce molecular graphs directly, it is feasible to avoid costly search techniques in the discrete and huge space of chemical structures. But these models also suffer from computational limitations when dimensions become huge and consume huge amount of resources. Quantum Generative machine learning in recent years have shown some empirical results promising significant advantages over classical counterparts.
translated by 谷歌翻译
因果和归因研究对于地球科学发现至关重要，对于为气候，生态和水政策提供信息至关重要。但是，当前的方法需要与科学和利益相关者挑战的复杂性以及数据可用性以及数据驱动方法的充分性相结合。除非通过物理学进行仔细的通知，否则它们会冒着将相关性与因果关系相关或因估计不准确而淹没的风险。鉴于自然实验，对照试验，干预措施和反事实检查通常是不切实际的，因此已经开发了信息理论方法，并在地球科学中不断完善。在这里，我们表明，基于转移熵的因果图最近在具有备受瞩目的发现的地球科学中变得流行，即使增强具有统计学意义，也可能是虚假的。我们开发了一种基于子样本的合奏方法，用于鲁棒性因果分析。模拟数据以及气候和生态水文中的观察表明，这种方法的鲁棒性和一致性。
translated by 谷歌翻译
变异推理（VI）的核心原理是将计算复杂后概率密度计算的统计推断问题转换为可拖动的优化问题。该属性使VI比几种基于采样的技术更快。但是，传统的VI算法无法扩展到大型数据集，并且无法轻易推断出越野数据点，而无需重新运行优化过程。该领域的最新发展，例如随机，黑框和摊销VI，已帮助解决了这些问题。如今，生成的建模任务广泛利用摊销VI来实现其效率和可扩展性，因为它利用参数化函数来学习近似的后验密度参数。在本文中，我们回顾了各种VI技术的数学基础，以构成理解摊销VI的基础。此外，我们还概述了最近解决摊销VI问题的趋势，例如摊销差距，泛化问题，不一致的表示学习和后验崩溃。最后，我们分析了改善VI优化的替代差异度量。
translated by 谷歌翻译
临时团队合作的进步有可能创建在现实世界应用程序中合作的代理商。但是，部署在现实世界中的代理人容易受到颠覆它们的意图的对手。在临时团队工作中，几乎没有研究对手的存在。我们解释了扩展临时团队工作以包括对手的存在的重要性，并澄清了为什么这个问题很困难。然后，我们提出了一些在临时团队合作中的新研究机会的指示，这会导致更强大的多代理网络物理基础设施系统。
translated by 谷歌翻译
通过利用和适应到目前为止获得的知识，人类具有识别和区分他们不熟悉的实例的天生能力。重要的是，他们实现了这一目标，而不会在早期学习中恶化表现。受此启发，我们识别并制定了NCDWF的新的，务实的问题设置：新颖的类发现而无需忘记，哪个任务是机器学习模型从未标记的数据中逐步发现实例的新颖类别，同时在先前看到的类别上保持其性能。我们提出1）一种生成伪内表示的方法，该表示的代理（不再可用）标记的数据，从而减轻遗忘的遗忘，2）基于相互信息的正常化程序，可以增强对新型类别的无聊发现，而3）a 3）当测试数据包含所见类别和看不见的类别的实例时，简单的已知类标识符可以有助于广义推断。我们介绍了基于CIFAR-10，CIFAR-100和IMAGENET-1000的实验协议，以衡量知识保留和新型类发现之间的权衡。我们广泛的评估表明，现有的模型在确定新类别的同时灾难性地忘记了先前看到的类别，而我们的方法能够有效地在竞争目标之间平衡。我们希望我们的工作能够吸引对这个新确定的实用问题设定的进一步研究。
translated by 谷歌翻译
尖峰神经网络（SNN）已成为用于分类任务的硬件有效体系结构。基于尖峰的编码的惩罚是缺乏完全使用尖峰执行的通用训练机制。已经进行了几项尝试，用于采用在非加速人工神经网络（ANN）中使用的强大反向传播（BP）技术：（1）SNN可以通过外部计算的数值梯度来训练。 （2）基于天然尖峰的学习的主要进步是使用具有分阶段的前向/向后传递的尖峰时间依赖性可塑性（STDP）的近似反向传播。但是，在此类阶段之间的信息传输需要外部内存和计算访问。这是神经形态硬件实现的挑战。在本文中，我们提出了一种基于随机SNN的后式Prop（SSNN-BP）算法，该算法利用复合神经元同时计算前向通行激活，并用尖峰明确计算前向传递梯度。尽管签名的梯度值是基于SPIKE的表示的挑战，但我们通过将梯度信号分为正和负流来解决这一问题。复合神经元以随机尖峰传播的形式编码信息，并将反向传播的权重更新转换为时间和空间上局部离散的STDP类似STDP的Spike Concike更新，使其与硬件友好的电阻式处理单元（RPU）兼容。此外，我们的方法使用足够长的尖峰训练来接近BP ANN基线。最后，我们表明，可以通过强制执行胜利者的抑制性横向连接来实现软磁体交叉渗透损失函数。我们的SNN通过与MNIST，时尚和扩展的MNIST数据集的ANN相当的性能来表现出极好的概括。因此，SSNN-BP可以使BP与纯粹基于尖峰的神经形态硬件兼容。
translated by 谷歌翻译